大谷木醇堂の祖父・大谷木藤左衛門は峰姫の御用人だった為、水戸藩小石川邸の事情を詳らかに知っていた。上臈御年寄とは生涯奉公の職で、終身異性関係を持たないと誓って奉公すべきだった。江戸城大奥にある頃、峰姫の父・徳川家斉は、美貌だった唐橋を側室にしようとした事があったが、唐橋から拒まれ、謝辞されていた。これには家斉もどうしようもなかった。
1829年（天保2年）、斉脩の死により、斉脩の異母弟・徳川斉昭が水戸藩主となった。峰姫は斉昭の藩主就任後も、小石川邸内の御守殿に居住していた。あるとき〔家斉が大御所となってから薨去する間とすると、1837年から1841年の間。〕、斉昭は唐橋と密通し、唐橋が懐妊した。これへ峰姫が大いに怒り、大御所であった家斉へこの事件を申し述べた。家斉は「女は経水が滞って血の塊などになる事があるので医者へ診せて療養せよ」と言い、内実的には唐橋の子を堕胎させ、そこからの回復を待って彼女を京都へ差し戻した。しかし斉昭はなお唐橋に恋慕し、黄金や品々を彼女へ贈った。こうして斉昭は自ら乞うて彼女を呼び戻したが、表向きを憚って水戸家の国許へ彼女を送って囲い置いた。水戸徳川家は江戸定府のため、国許にいた唐橋を訪ねるのに不都合だった。大谷木醇堂は、斉昭は唐橋に会うために、追鳥狩、軍事調練、海防などと名づけて国許へ篭もり、遂に幕府から江戸にある駒込邸の中屋敷へ禁固された、としている。
当時、尾張徳川家と紀州徳川家の両公も唐橋の容色をほめていた。小石川邸に尾張と紀州の両公が来たとき、彼らは唐橋がいれば夜遅くまで遊んだが、彼女がいなければすぐ帰ったという程だった。両公は斉昭がこの女のために乱れた行いに及んだと聞いて、それは尤もの事、我々もあの女に迷った」と言った〔大谷木醇堂『灯前一睡夢』p.225-226〕。